Năm 1992 Rabin được bầu làm chủ tịch Công đảng, một lần nữa giành thắng lợi trước Shimon Peres. Trong cuộc bầu cử năm đó đảng của ông, tập trung mạnh vào sự nổi tiếng của người lãnh đạo, đã giành một thắng lợi lớn trước đảng Likud của đương kim Thủ tướng Yitzhak Shamir. Tuy nhiên phe cánh tả trong Knesset chỉ giành một đa số nhỏ, với sự loại bỏ các đảng quốc gia nhỏ không vượt qua được giới hạn bầu cử. Rabin thành lập chính phủ đầu tiên của Công đảng trong vòng 15 năm, được ủng hộ bởi một liên minh với Meretz, một đảng cánh tả, và Shas, một đảng tôn giáo chính thống-quá khích Mizrahi.

Rabin đã đóng vai trò lãnh đạo trong việc ký kết Hiệp định Oslo, tạo lập Chính quyền Palestine và trao một phần quyền kiểm soát các vùng Dải Gaza và Bờ Tây. Trước khi ký hiệp định, Rabin đã nhận được một bức thư từ Chủ tịch PLO Yasser Arafat bác bỏ bạo lực và chính thức công nhận Israel, và cũng trong ngày hôm đó, 9 tháng 9 năm 1993, Rabin gửi cho Arafat một bức thư chính thức công nhận PLO. Trong nhiệm kỳ thủ tướng này, Rabin cũng giám sát việc ký kết Hiệp định Hoà bình Israel-Jordan năm 1994.

Vì vai trò của ông trong việc tạo lập Hiệp định Oslo, Rabin đã được trao Giải Nobel Hoà bình năm 1994, cùng với Yasser Arafat và Shimon Peres.[15][16] Hiệp định đã làm chia rẽ mạnh mẽ xã hội Israel, với một số người coi ông là anh hùng vì đã thúc đẩy nền hoà bình và một số người coi ông là kẻ phản bội khi trao đi đất đai mà họ coi là thuộc về Israel một cách chính đáng. Nhiều người Israel cánh hữu thường buộc tội ông về nhiều cái chết của người Do Thái trong các vụ tấn công, coi chúng là những hậu quả của thoả thuận Oslo.

Rabin cũng đã được trao Giải Tự do Ronald Reagan năm 1994 bởi cựu Đệ Nhất Phu nhân Nancy Reagan. Giải này chỉ được trao cho "những người đã có những đóng góp nền tảng và dài lâu vào sự nghiệp tự do toàn cầu," và những người "hiện thâm cho niềm tin cả cuộc đời Tổng thống Reagan rằng một người đàn ông hay phụ nữ thật sự có thể tạo ra một sự khác biệt."[17]